Hugh Lupus Grosvenor là con trai thứ hai và con trai cả còn sống của Richard Grosvenor, Hầu tước thứ 2 xứ Westminster và Phu nhân Elizabeth Leveson-Gower, con gái nhỏ của George Leveson-Gower; Hầu tước xứ Stafford thứ 2 và sau này là Công tước xứ Sutherland.[2] Ông được đào tạo tại Eton College và, cho đến năm 1847, tại Balliol College, Oxford.[1] Ông rời Oxford mà không cần lấy bằng để trở thành Nghị sĩ (MP) đại diện cho Chester. Chiếc ghế này trước đó được giữ bởi chú của ông, Robert Grosvenor (sau này Nam tước Ebury), người đã quyết định chuyển đến tranh cử tại Middlesex. Năm 1851, ông đi du lịch Ấn Độ và Ceylon.

Năm sau, vào ngày 28 tháng 4, ông đã kết hôn với người em họ, Lady Constance Sutherland-Leveson-Gower, con gái thứ tư của George Sutherland-Leveson-Gower, Công tước thứ 2 xứ Sutherland;[4] tại thời điểm đám cưới cô ấy 17 tuổi.[5] Đám cưới được tổ chức trong Nhà nguyện Hoàng gia ở Cung điện Thánh James, London, với sự có mặt của Victoria của Anh và Vương tế Albert.[4] Mẹ của Constance rất được Victoria của Anh yêu mến, vì bà này là người chịu trách nhiệm về quần áo và đồ trang sức của Nữ hoàng.[5]

Đứa con đầu lòng của họ là một bé trai, được sinh ra vào năm 1853, và Victoria của Anh đã trở thành mẹ đỡ đầu cho đứa trẻ. Tính đến năm 1874, cặp vợ chồng này đã có 11 người con, 8 người trong số đó sống sót đến tuổi trưởng thành; 5 con trai và 3 con gái.[4]

Năm 1880, Constance chết vì bệnh Bright (viêm thận). Hai năm sau, vào tháng 6 năm 1882, Grosvenor kết hôn với Katherine Cavendish, con gái thứ ba của William Cavendish, Nam tước thứ 2 xứ Chesham và Henrietta Frances Lascelles, khi đó 24 tuổi; cô ấy trẻ hơn con trai cả và 2 người con gái của công tước. Họ có bốn người con, hai con trai và hai con gái.[4]